生成式推荐排序中的隐式残差推理
🧭 生成式推荐 · 隐式残差推理排序 ★ 深度解读
University of Science and Technology of China · Meituan · Renmin University of China · The Hong Kong Polytechnic University · Academy of Cyber
提出 Refiner 框架，用残差分数修正、历史查询和 LoRA 适配，在不重训基座的前提下增强生成式排序
📌 工作参考价值（4 点）
- 工程架构：对已部署排序模型做推理增强，不需要全量重训。冻结 base model，只加 LoRA 到 Transformer 和一个独立 reasoning prediction head；日级更新时加载最新 base checkpoint，同时继承上一日 Refiner 参数，只更新新增参数，适合渐进上线。
- 输入与 mask 设计：每个候选分配独立 reasoning token，autoregressive 地从上一轮 hidden state 提取；history queries 从用户行为序列尾部取 2-4 个位置作为全局上下文。候选 mask 必须保持候选间隔离，只允许访问自己的前序 reasoning token。
- 训练目标：残差修正 + MSE 监督累计分数，比每步用 BCE 重新预测完整分数更有效；推理步数 1-2 步性价比最高，更多步边际收益快速衰减。
- 业务收益：工业 A/B 在 PV-CTR +0.75%、GMV +0.46%，且对长历史用户、冷启动/低频 item 增益更明显；有类似困难样本的业务可优先尝试。
UniCon：面向CTR预测的统一上下文中心建模范式
🧭 统一上下文建模 · CTR预测 ★ 深度解读
Meituan
将历史曝光列表与当前候选集统一为上下文单元，通过分层注意力建模上下文内局部性与跨上下文动态
📌 工作参考价值（4 点）
- 上下文单元抽象：在电商搜索/推荐中，把每次展示列表（共现商品、位置、环境信号）组织成一个上下文单元，而不是把行为序列展平。这能显式建模同一曝光内商品的竞争/互补关系，以及跨曝光的状态演化，对货架、瀑布流等强上下文场景特别有用。
- 历史与目标结构对齐：训练时历史曝光带点击标签，目标候选集用可学习占位符对齐，再通过曝光和绝对位置预测辅助任务将目标单元引导到真实展示分布。这套做法可以迁移到重排或生成式推荐中，让候选集表示更贴近最终展示情境。
- 目标感知的上下文压缩：在长历史序列中，每层用target-context的query-key相似度选择保留top-k个最相关的历史上下文单元，大幅降低attention计算量而几乎不损失精度（压缩比0.5时计算减少75.4%，AUC仅降0.0001）。这对长序列用户建模很有借鉴价值。
- 工程化细节：padding-free变长注意力、segment offsets表示上下文边界、AOT编译和融合算子，以及候选分片策略（固定300个候选一个分片），这些是让高计算量上下文模型上线可行的关键。训练和推理使用一致的分片规则也很重要。
TransRetrieval：工业推荐 Transformer 召回规模化
🧭 模型化召回 · Transformer 规模化 ★ 深度解读
Renmin University of China · Taobao & Tmall Group of Alibaba · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE
通过加权平均聚合、目标 token 压缩与位置式域嵌入，让 Transformer 召回实现 log-linear scaling
📌 工作参考价值（4 点）
- 多值/异构特征进 Transformer 前，用 weighted average 替代 weighted sum 或 concat，可低成本消除 token norm 随 feature cardinality 增长的问题，避免 attention 被高范数 token 主导；这是一行无参改动，适合先做验证。
- 模型化召回中，将目标侧特征压缩成单 token 可砍掉约 85% per-candidate FLOPs，再把算力重新投到更深/更宽的用户侧 Transformer，比保留多 target token + 小 backbone 更划算；压缩后向量也天然适配 HNSW 索引。
- 多域统一不必用 domain token 或 gate：位置式 domain embedding 逐元素加所有 token，共享全部 Transformer 参数，稀疏域能吃到跨域梯度，推理时零额外序列成本。
- 工程上可复用：同一请求所有候选共享用户侧 KV cache 并 broadcast；将单 query token 的多候选打包成 batch 并用 mask 隔离，解决 GPU 利用率低问题；检索算子全 GPU 化避免 host-device 往返；target compressor 独立成子图，支持 near-line 增量更新索引。
闭环记忆生成式推荐：从行为日志到演化推荐体验
🧭 生成式推荐 · 闭环经验记忆 ★ 深度解读
Alibaba Group
首次将系统侧推荐决策轨迹建模为可跨请求复用的经验内存，提出三视图压缩读写机制，在工业级数据上显著提升生成式推荐效果
📌 工作参考价值（4 点）
- 闭环经验日志设计思路：在生成式推荐/对话Agent中，可将系统侧决策与反馈路径（推荐了什么、用户是否互动）作为「经验日志」持久化，形成 behavior log + experience log 双轨记忆，避免每次请求仅从行为历史重建偏好。
- 三视图固定预算压缩：当交互历史过长无法全量送入模型时，可借鉴「最近记录锚定+频次模式+全局可迁移原型」三叉融合方式，用 固定数量 tokens（如 16 个） 概括经验，既控制计算成本又保留关键信息。
- 读取算子设计：归一化键值注意力 + 门控+幅度上限（Cap），可有效避免长日志覆盖原始查询，适合在电商实时推理中稳定注入记忆。
- 工程部署模式：经验写入仅静态追加，读取时只扫最近 N 条，梯度不反向传播写入操作，保持因果顺序，适合在线系统低延迟更新。
多解码器 OneRec：工业推荐中可控的多目标生成式检索
🧭 生成式检索 · 多目标配额可控 ★ 深度解读
Kuaishou Technology
用共享编码器+多 LoRA 解码器+约束束搜索，在统一生成式检索框架下实现多目标候选配额可控、梯度隔离与互补去重
📌 工作参考价值（4 点）
- 多目标生成式推荐可借鉴该 共享基座 + LoRA 专家 + 梯度隔离 方案：保留一个通用的 General Decoder 吸收曝光样本，每个业务目标（时长、互动、冷启）仅挂载低秩 LoRA 和独立的 BOS / SID 残差，新增目标不干扰主解码器。
- 连续反馈的 RL 微调值得尝试：对时长类目标，不做阈值二值化，直接用用户历史组统计标准化持续奖励，结合 L-GBPO + KL 参考正则，能保留偏好强度且不破坏通用 SID 合法生成能力。
- 多路解码时务必用 约束束搜索（MD-CBS） 避免配额浪费：不同目标解码器按优先级运行，已生成的前缀或完整 SID 在后续路由中被屏蔽，实验证明完整 SID 级别屏蔽优于浅层前缀屏蔽，可恢复几乎全部有效候选数。
- 若资源有限，可通过 配额与束宽解耦 实现成本控制：3 个 LoRA 仅增加 20% 参数量，推理时可通过减小单个解码器的束宽/配额来调节 FLOPs，配额向哪个目标倾斜即可定向提升该路召回。
LO-FAR：面向工业广告推荐的稀疏特征成本感知局部过滤
🧭 稀疏特征选择 · 工业广告推荐 ★ 深度解读
Meta Platforms, Inc.
仅用CPU的局部过滤方法独立评估稀疏特征预测信号，实现低成本快速排序并保持下游CTR/CVR竞争力
📌 工作参考价值（4 点）
- 低成本快速特征筛选流水线：仅用 CPU 即可在 2 小时内完成数百个稀疏特征的排序，适合嵌入到日常迭代中，避免与训练抢 GPU 资源。
- 独立并行化设计：每个特征独立打分、易于并行，适合拥有大量稀疏特征池的电商/广告团队快速收敛候选特征集。
- 两阶段筛选策略：可先用 LO-FAR 快速剔除大量低信号特征，再对保留的特征用更昂贵的交互感知方法（如 BSN）做精细选择，兼顾成本与效果。
- 直接控制存储与参数规模：通过特征预算直接决定嵌入表数量，实现 40%~75% 的稀疏存储压缩，降低训练和推理的内存压力。
Gryphon：统一语义ID生成与物品级评分的生成式推荐架构
🧭 生成式推荐 · Semantic ID · item-level scoring ★ 深度解读
Yandex
在生成式检索中引入联合训练的物品级评分模块，解耦beam likelihood与最终排序，解决SID碰撞和得分失校准
📌 工作参考价值（4 点）
- 用beam search做ID候选生成，再加一个轻量级评分器重排序：工程上可复用的架构模式，beam likelihood仅用于控制候选池入口，最终排序由Item-Level Scoring Module（ILSM）接管，避免beam失校准影响回召；尤其适合SID碰撞严重的动态目录场景。
- ILSM复用编码器用户状态，成本极低：只需一层用户-物品交叉注意力+MLP，几乎不增加推理耗时，可直接集成到现有生成式检索模型中。
- 联合训练目标：生成损失 + 带流行度纠正的next-item prediction损失：共享编码器，使同一用户表示同时支持SID质量与物品级相关性，训练稳定，可推广到多目标优化。
- 在线A/B证明单一生成式模型可替代复杂多路召回：Gryphon取代了15+候选源与预排序，候选量从3000降至1000，核心指标持平，大幅降低系统复杂度和运维成本，对电商推荐系统多路融合极有参考价值。
LoopFM：基于基础模型历史表征的推荐知识迁移
🧭 知识蒸馏优化 · 历史表示结构化 ★ 深度解读
Meta AI
将大模型历史中间层嵌入压缩并序列化为小模型输入特征，打破标量知识蒸馏的带宽瓶颈。
📌 工作参考价值（4 点）
- 离线生成用户侧序列特征：将大模型已产生的历史交互 embedding 按键（如 user ID）压缩成时间序列，作为 lightweight 模型的直接输入，无需实时推理大模型，显著降低在线延迟。
- 正交填充知识缺口：LoopFM 序列提供跨域、跨特征交互信息，与标量 KD 互补；在线上可并行部署两条迁移通道，提升整体迁移率（内部实验迁移率翻倍）。
- 以压缩控制成本，以结构保留时序信号：用自动编码器 + Matryoshka 维度灵活 + INT4 量化，可实现 4× 存储压缩；序列化方式比简单池化更好（DMIN attention 优于 mean-pool），但 sum-pool 也能捕获大部分增益，可按成本选择。
- 容量差距越大收益越高：小模型直接学高基数 ID 序列效果差，而 LoopFM 提供的低维、信息浓缩表示使小模型直接受益，这适合电商推荐中的重模型-轻模型架构。
Rec-Distill：面向工业推荐的大规模模型蒸馏框架
🧭 推荐系统 · 知识蒸馏 · 大规模模型压缩 ★ 深度解读
ByteDance AML · ByteDance
解耦式蒸馏框架将大模型（24B参数、20K序列）知识高效迁移至轻量线上模型，迁移率超60%并取得商业收益
📌 工作参考价值（4 点）
- 解耦式蒸馏推进大模型复用：教师与学生对训练完全解耦，教师持续流式更新并缓存logits，学生异步消费。可参考此“1-to-N”范式，一个大教师同时服务多个小模型（如召回、粗排、精排），显著降低训练成本，实现线上模型不限制实验规模。
- 黑盒蒸馏+loss缩放：使用教师输出logits的交叉熵损失，简单有效，且观察到蒸馏损失尺度比主任务损失小两个数量级时效果差，需通过调大系数α对齐量级。实际部署时可直接采用CE蒸馏，并手动调大α。
- 去偏机制解决样本分布不匹配：教师和学生训练数据采样策略不同导致logits偏差，通过将教师logits用学生侧去偏公式重校正（𝑇2′=𝑓𝑆(𝑇1)），再与学生去偏logits蒸馏，可提点0.1%。电商场景普遍存在采样偏差，该方法可复用。
- 混合批-流式管道保证实时性：批训练阶段用大量数据快速收敛，流式阶段从高速存储读取教师最新logits追加到学生流数据，实现分钟级延迟适应数据分布变化，避免线上掉点。适合实时推荐系统的高频更新需求。
SIREN：多粒度语义交互的统一多模态终身兴趣建模
🧭 多模态终身兴趣建模 · 语义ID ★ 深度解读
Tencent Inc. · Xiamen University
在工业推荐的两阶段框架中，通过语义ID和相似度桶实现多模态信号的早期融合，兼顾效果与部署效率。
📌 工作参考价值（4 点）
- 语义ID生成与使用：利用RQ-VAE将多模态embedding离散化为分层语义ID，并通过前缀编码保留层级语义，可作为item的稳定通用token，既用于GSU的硬检索（倒排索引，降低90%以上在线成本），又作为ESU中细粒度特征，可迁移至电商商品的生成式推荐或冷启表征。
- 早期融合代替晚期融合：将相似度桶和语义ID直接拼入item表征，与ID特征一起进入target-conditioned Transformer进行统一序列建模，而不是在序列聚合后再融合。这让多模态信号参与注意力权重和兴趣表征的联合学习，可应用于短视频、广告等场景的多模态长期行为建模。
- 相似度桶化与语义ID的互补设计：相似度桶提供粗粒度的目标相关度，语义ID捕获细粒度的物品语义和协同异质性。分析表明二者互补，且单纯增加桶数无法弥补细粒度缺失。在电商场景中可借鉴该组合特征方式，提升老客与新品的匹配精度。
- 冷启动增益：多模态信号显著提升低活用户和新广告的效果（GMV增益可达整体平均的1.4~3.6倍），对于电商新品冷启、小语种用户等场景有直接参考价值。